⭐️ Чек-лист: как правильно работать с pandas

Работаете с табличными данными?

Эти простые советы сэкономят вам время, память и нервы:

✔️ Используйте векторизацию вместо apply

Быстрее, короче, читаемее:

# Вместо apply
df["log"] = np.log(df["x"])

✔️ Считайте в столбцах, а не в цикле по строкам

Избавьтесь от .iterrows() — векторные операции эффективнее:

df["sum"] = df["a"] + df["b"]

✔️ Используйте `category` для колонок с повторяющимися строками

Существенно уменьшает потребление памяти:

df["country"] = df["country"].astype("category")

✔️ Загружайте только нужные данные

Не тратьте ресурсы на лишние строки и столбцы:

pd.read_csv("big.csv", usecols=["col1", "col2"], nrows=100_000)

✔️ Сохраняйте данные одним вызовом, а не в цикле

Сначала собираем — потом записываем:

df.to_csv("result.csv", index=False)

✔️ Контролируйте использование памяти

Проверяйте «тяжёлые» столбцы

df.memory_usage(deep=True)

Библиотека дата-сайентиста #буст

✈️ Свежие новости из мира AI и Data Science

👍 Технологии, модели и тренды:
— Google Gemini 2.5 Pro — новая превью-версия самой мощной модели Google, уже вырвалась в лидеры LMArena и WebDev Arena. Меньше месяца после последнего релиза — и снова прорыв.
— ElevenLabs v3 — самая выразительная AI TTS-модель, поддержка множества языков, включая арабский, африкаанс и мандарин. Новый стандарт для голосовых приложений.
— OpenAI и ChatGPT-5 — разбираем слухи, утечки и возможные фичи следующей версии ChatGPT. Что нового и чего ждать?

🧠 Исследования, статьи и практики:
— AI лучше человека в тестах на эмоциональный интеллект — исследование Женевского и Бернского университетов: ChatGPT и другие ИИ превосходят людей в распознавании и интерпретации эмоций.
— Сколько действительно запоминают LLM-модели? — методика оценки «запоминания» vs. «обобщения» в языковых моделях.
— Themis AI от MIT — стартап, обучающий ИИ понимать, чего он не знает. Подход к контролю неопределённости.
— ICLR 2025 и доверие к ИИ — новые подходы к обучению на субъективных данных, оценке качества моделей и внедрению человеческих суждений.

🎙 AI в обществе и индустрии:
— Demis Hassabis (DeepMind): «AI изменит рынок труда за 5 лет» — CEO Google DeepMind выступил на Google I/O и подкасте Hard Fork, обозначив AGI как ключевую технологию будущего.
— MCP-серверы: что это и зачем они нужны? — скоро на слуху у всех, особенно в проектах с тяжёлыми ML-нагрузками.

📘 Обучение, процессы и инструменты:
— Лучшие нейросети для суммаризации текста — подборка инструментов для пересказа, анализа и работы с текстами.
— Как наладить работу в кросс-функциональной команде Data Science + Dev — опыт Lamoda в совмещении ML и инженерии.

Библиотека дата-сайентиста #свежак

⚡️ Scikit-learn 1.7 — свежий релиз с полезными улучшениями

✅ Что нового

• Красивее и понятнее отображение пайплайнов
Теперь в HTML-представлении моделей отображаются параметры, не-дефолтные подсвечиваются, есть копирование для grid search'ей.

• Custom валидация для HistGradientBoosting
Поддержка X_val, y_val прямо в .fit() + трансформация вал.набора через transform_input в пайплайне.

• ROC-кривые из cross-validation
Теперь RocCurveDisplay.from_cv_results() — удобно рисовать сразу несколько ROC-кривых.

• Поддержка Array API (PyTorch, CuPy и др.)
Больше функций теперь дружат с массивами по стандарту array API — можно использовать альтернативы NumPy без доп. пакетов.

• MLP теперь более согласованный
MLPRegressor поддерживает loss='poisson', а также sample\_weight в обоих MLP-классах.

• Переход на sparse arrays
Все модели, работавшие с sparse matrix, теперь совместимы и с sparse arrays — шаг навстречу будущему SciPy.

📥 Установить:

pip install --upgrade scikit-learn

✅ Полный changelog — в release notes

Библиотека дата-сайентиста #свежак

💫 Топ-вакансий для дата-сайентистов за неделю

Data Engineer / Embedded Software Engineer —‍ от 300 000 до 387 000 ₽ , удалёнка

MLOps-инженер —‍ от 250 000 ₽, гибрид (Москва)

Data Analyst, гибрид (Екатеринбург)

Data Scientist —‍ 150 000₽, удалёнка

Руководитель группы анализа данных —‍ от 400 000 —до 500 000 ₽, гибрид (Москва)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

🚩 Шпаргалка: стратифицированная выборка

Выборка — важный этап любого исследования. Один из надёжных способов — стратифицированная выборка, при которой вся совокупность делится на подгруппы (страты), и из каждой отбирается выборка.

Это особенно полезно, когда необходимо учесть особенности разных сегментов данных.

Преимущества стратифицированной выборки:
🟠 Точная репрезентативность — каждая группа учтена, искажения минимальны
🟠 Более высокая точность — за счёт меньшей дисперсии внутри страт
🟠 Экономия ресурсов — меньший объём выборки при той же достоверности

Сложности, с которыми можно столкнуться:
🔴 Сложная реализация — нужно заранее определить страты
🔴 Риск ошибок — неверная классификация испортит результаты
🔴 Ограниченность — не применим, если нет явных подгрупп

Варианты стратифицированной выборки:
🟣 Пропорциональная — каждая страта представлена в выборке по доле в популяции
🟣 Равномерная — одинаковое число объектов из каждой страты
🟣 Оптимальная — учитывает разброс и стоимость сбора: больше данных — там, где это выгоднее
🟣 Непропорциональная — размер выборки по каждой страте определяется задачей анализа (например, усилить редкие подгруппы)

Библиотека дата-сайентиста #свежак

👌 Как найти и избежать утечек данных: пошаговое руководство

Утечки данных — одна из самых распространённых и коварных ошибок в построении моделей машинного обучения.

✅ Вот как шаг за шагом выявить и предотвратить утечки в проектах.

1️⃣ Понимайте, что такое утечка данных

Утечка — когда модель получает данные из будущего или из «ответов», которых не должно быть во время обучения. Вот основные типы:

✅ Целевая утечка (Target Leakage): признаки напрямую или косвенно содержат информацию о целевой переменной.
📝Пример: использовать «сумму страховых выплат» при прогнозе повторной госпитализации.

✅ Утечка после события (Post-Event Leakage): признаки формируются на основе данных, которые появляются после момента предсказания.
📝Пример: использовать данные после завершения полёта для прогнозирования аварии во время полёта.

✅ Утечка при разбиении данных (Train-Test Leakage): когда информация из тестовой выборки просачивается в тренировочную. Включает:
— анализ всех данных до разделения (корреляции, масштабирование)
— дубликаты и пересечения между train и test
— нарушение временного порядка для временных данных
— неправильное кросс-валидационное разделение

✅ Утечка по идентификаторам (Entity Leakage): когда уникальные ID встречаются в обеих выборках, и модель запоминает их, а не закономерности.
📝 Пример: номер самолёта в train и test.

2️⃣ Внимательно выбирайте признаки

✅ Удаляйте признаки, которые содержат информацию, недоступную на момент предсказания (например, отчёты после события).
✅ Будьте осторожны с ID и уникальными идентификаторами — модель может просто «запомнить» их.

3️⃣ Соблюдайте правильный порядок работы с данными

✅ Сначала разделяйте данные на тренировочные и тестовые, до любых вычислений и преобразований.
✅ Для временных данных обязательно сохраняйте хронологический порядок, чтобы не давать модели информацию из будущего.
✅ Избегайте дублирования и пересечений между train и test.

4️⃣ Правильно стройте пайплайны

✅ Масштабирование, кодирование, уменьшение размерности (PCA и др.) обучайте только на тренировочных данных.
✅ В кросс-валидации трансформации должны выполняться внутри каждого фолда отдельно.

5️⃣ Анализируйте только тренировочные данные

✅ Корреляции, статистики и подбор параметров делайте только на тренировочных данных.
✅ Не смотрите на тест, пока не завершите обучение и отладку.

Библиотека дата-сайентиста #буст